Discriminative World Models for Web Agents
面向 Web Agent 的判别式世界模型
🧭 Web Agent 世界模型判别式训练
University of California, Berkeley · MIT-IBM Watson AI Lab · Cal Poly San Luis Obispo · Xero
用预测状态匹配训练世界模型，使预测表示能区分不同动作结果，提升 PRM 动作排序与端到端任务成功率
📌 工作参考价值（4 点）
- 训练状态模拟器时对齐下游排序目标：不要只做 next-state 重建，应加入判别式目标，使预测状态可区分不同动作的后果。在电商/搜索的 agent 场景中，若用世界模型模拟用户点击或意图变化，可改用 contrastive 或 ranking loss 训练，以辅助后续动作打分。
- 构建分支式决策数据集：从真实交互轨迹中记录每个决策点的候选动作及各自后续状态，用于训练判别式世界模型。可借鉴到搜索推荐 agent，通过离线用户日志构造“动作-结果”对比样本，避免昂贵在线探索。
- PRM/ranker 增强：将世界模型预测的状态表示拼接到 PRM 输入，能比仅用动作特征提升动作排名。在做推荐 agent 的多步决策时，可设计类似的 process reward 模型，用预测用户状态辅助评估候选推荐或 query。
- 测试时采用“候选生成 + 预测状态 + 打分”的 pipeline，可提高端到端成功率。在电商 agent 中可对候选商品或 query 做模拟排序，减少试错。